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Рассмотрены модели дефектов аппаратных реализаций искусственных нейронных сетей. Предложено рас- 
ширение классов дефектов нейроэлементов путем введения дополнительного класса моделей дефектов неи- 
ронов, вызывающих появление на их выходах определенного уровня сигналов в интервале (0,1). Проведено 
экспериментальное исследование влияния введенного класса дефектов на работоспособность искусственной 
нейронной сети. 
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Введение. Искусственные нейронные сети (ИНС), благодаря своей структурной организации, об- 
ладают возможностями моделирования нелинейных процессов, работы с зашумленными данными, 
обобщения и т.д. Эти свойства ИНС находят широкое применение во многих прикладных облас- 
тях, при этом более всего возрастает удельных вес использования аппаратных нейросетевых реа- 
лизаций, что обусловлено обеспечением высоких скоростей решения сложных задач с примене- 
нием мультипроцессорной обработки данных [1, 2]. 

За счет своей структурной сложности ИНС, состоящие из многофункциональных нейро- 
элементов, обладают определенной степенью отказоустойчивости [3, 4], т.е. возникающие де- 
фекты их элементов не вызовут отказа всей нейросистемы. Однако отдельные исследования [5, 6] 
показывают, что во многом это свойство нарушается из-за неравномерного распределения вы- 
числительной нагрузки, выражающегося в разбросе значений коэффициентов связей при обуче- 
нии ИНС, что позволяет говорить о наличии в обученной нейронной сети некоторых ключевых 
компонентов, отказ которых вызовет потерю работоспособности ИНС. Достижение же полной от- 
казоустойчивости нейронной сети (отсутствие негативной реакции сети на возникающие в ней 
дефекты) возможно в случае, как минимум, шестикратной избыточности нейронов [6], что не все- 
гда приемлемо в силу технической сложности аппаратной реализации ИНС. При отсутствии ре- 
зервирования, как отмечается авторами работ [5, 7], практически любой дефект всегда влияет на 
полноту и качество выполнения функций ИНС, поскольку в вычислениях нейронной сети участву- 
ют все ее компоненты. Полная потеря работоспособности большинства типов ИНС связана с на- 
коплением дефектов [8, 9]. 

Широкое применение нейронных сетей в различных областях техники вызывает необхо- 
димость в разработке методов повышения их надежности и соответствующих оценок надежност- 
ных характеристик. Исследование надежности нейронных сетей, степени их постепенной дегра- 
дации практически невозможно без моделирования дефектов нейрокомпонентов [5-7, 9]. Рас- 
сматриваемые в исследованиях неисправности являются моделями дефектов, определяющими 
место, время и характер их проявления. 

Одним из недостатков существующих моделей дефектов является то, что они учитывают в 
качестве дефектов только устанавливаемые в нулевые состояния весовые коэффициенты и мак- 
симальные или минимальные значения сигналов на выходах нейронов. В действительности физи- 
ческие дефекты проявляются гораздо более сложным образом и зачастую могут приводить к не- 
скольким неисправностям нейрона. 

Расширение классов дефектов ИНС путем введения дополнительных константных неисправ- 
ностей, соответствующих определенному не изменяющемуся уровню сигнала на выходе нейрона, 
является целью данной работы. 
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Следует принимать во внимание, что типы дефектов ИНС существенно зависят от вида её 
аппаратной реализации. 

Наиболее перспективным направлением развития нейрокомпьютерной техники считается 
создание нейроускорителей на основе нейрочипов, которые могут быть аппаратно реализованы 
как по аналоговой или цифровой, так и по гибридной технологии [2]. 

Для аналоговой реализации ИНС, при моделировании отказов конденсаторов и резисторов 

соединительной матрицы нейронов, отказом конденсатора считается его пробой, приводящий к 
обрыву связи, или разрушение токопроводящего слоя резистора, что приводит к обрыву цепи [6]. 
Для цифровых технологий отказам подвержены или битовые ячейки запоминающего устройства, 
выход из строя которых соответствует появлению в ней бита «0», или дефекты блока активаци- 
онной функции, приводящие к появлению максимальных или минимальных значений на выходах 
нейронов. Для гибридных исполнений отказы определяются особенностями конкретных аппарат- 
ных реализаций. 
Анализ моделей дефектов ИНС. Источником нарушений функционирования нейронной сети 
или ухудшения тех или иных её характеристик являются дефекты компонент нейроэлементов, а 
также связей между ними. Неисправностью, согласно её классическому определению [10], будем 
называть формализованное представление факта проявления дефекта, приводящего к ошибкам в 
работе ИНС. 

Более подверженными влиянию дефектов, как на этапе обучения, так и на этапе эксплуа- 
тации ИНС, являются [5]! 

— матрицы весовых коэффициентов. На этапе эксплуатации весовые коэффициенты име- 
ют фиксированные значения. Однако на этапе обучения они являются изменяемыми; 

— блоки активационных функции. Все изменения, связанные с настройкой функций акти- 
вации могут происходить только на этапе обучения; 

— выходы нейронов. Для нейронов скрытых и выходного слоев неисправности этих эле- 
ментов являются наиболее информативными. 

С функциональной точки зрения [7,9] в искусственных нейронах выделяют следующие ви- 
ды неисправностей: 

1. Неисправности матриц, реализующих весовые коэффициенты и смещения. Связаны с 
искажением или потерей весовых коэффициентов или смещений. 

2. Неисправности входов. Данный вид неисправности связан с дефектами входных соеди- 
нений, приводящими к искажению входных сигналов, поступающих на нейронную сеть. 

3. Неисправности сумматора. Состоят в формировании на его выходе неизменяемого зна- 
чения сигнала. 

4. Неисправности блоков активационной функции. Приводят к искажению или потере сиг- 
нала на выходе нейрона. При этом, если нейронная сеть, в которой расположен такой нейрон, 
является многослойной, то данная неисправность может рассматриваться как эквивалент второго 
вида неисправностей, поскольку выходы нейронов скрытого слоя являются входом нейронов по- 
следующего слоя. 

При различных способах реализации ИНС достаточно трудно учесть все возможные виды 
дефектов. Однако очевидно, что критичными дефектами, т.е. оказывающими наибольшее влия- 
ние на отдельные нейроны и выходной результат ИНС в процессе её функционирования, будут 
дефекты элементов, приводящие к искажению сигналов на входах и выходах искусственных ней- 
ронов. Обычно эти дефекты определяют как катастрофические или как параметрические [11]. 

При моделировании дефектов на абстрактном уровне принято говорить о катастрофиче- 
ских константных неисправностях весовых коэффициентов и выходов нейронов. 

Неисправности матриц весовых коэффициентов моделируются как константные неисправ- 
ности типа «0» или «+=\У/„„х» [6, 9, 12]. При этом неисправность типа «0» рассматривается как 
обрыв линии связи, а «=\У/„„» — как максимальная допустимая положительная или отрицатель- 
ная величина весового коэффициента среди всех значений матрицы весов, определенных на эта- 
пе обучения. Определение неисправности весового коэффициента при исследовании работоспо- 
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собности ИНС связано с рядом сложностей, вызванных, в первую очередь, высокой степенью 
ветвления сигналов [5]. 

В основе неисправностей выходов нейронов лежат дефекты, сводящиеся к типу констант- 
ных неисправностей: 

- отказ нейрона типа соп$* = 0 на выходе; 

- отказ нейрона типа соп${ = 1 на выходе. 

Данные модели дефектов охватывают широкий спектр возможных реальных дефектов. 
Однако, говоря о константных неисправностях типа соп{ = 0 и соп${ = 1 на выходах нейроэле- 
ментов, следует исследовать и другие возможные проявления дефектов, которые можно опреде- 
лить, в частности, из анализа графика функции активации искусственных нейронов (рис.1). Мож- 
но видеть, что постоянное значение сигнала на выходе нейроэлементов обуславливается типом 
их функции активации. В рассматриваемых ранее работах одним из ограничений является выде- 
ление лишь двух отказных состояний на выходах нейронов: соп%{=0 и соп%{=1. Однако непрерыв- 
ность и монотонность функций активации помимо рассмотренных ранее граничных константных 
неисправностей предполагает наличие промежуточных постоянных значений, которые можно оп- 
ределить как этапы постепенной деградации нейроэлементов. Возникновение на выходе нейрона 
константы в интервале (0,1) возможно по множеству причин с учетом существующих способов 
аппаратного исполнения активационной функции, например, при реализации цифровой сигмои- 
ды, основанных на использовании полиномиальных приближений, СОВБ!С-алгоритмов, аппрокси- 
мации кусочно-линейных функций, справочных таблиц [13] и т.д. 





Рис.1. Функции активации на выходе нейронов: а- аналоговое исполнение; 6 — цифровое исполнение 


В целях расширения класса моделируемых дефектов введем ранее не рассматривающийся 
класс — отказы нейрона, подразумевающие наличие на выходе нейрона сигнала любой постоян- 
ной величины в интервале (0,1). 

Оценку модели введенного класса дефектов, с точки зрения его влияния на работоспо- 

собность, рассмотрим ниже. 
Экспериментальное исследование влияния дефектов на работоспособность ИНС с уче- 
том константы из интервала (0,1). В качестве объекта исследований примем программную 
модель двухслойной ИНС прямого распространения. Сеть обучена методом обратного распро- 
странения ошибки распознаванию образов. Объем обучающей выборки составляет 72 образа, 
представляющих собой цифры от 1 до 9, имеющие 8 различных вариантов изображения. В обоих 
слоях сети используются сигмоидальные функции активации. 

Входные сигналы нейронной сети формируются с помощью набора двухмерных черно- 
белых графических образов, которые представляют собой цифры от 1 до 9. Размер изображе- 
ний — 7х7 пикселей. Таким образом, на вход сети подается вектор из 49 двоичных элементов, 
принимающих значение 0 или 1. 
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Скрытый слой содержит 30 нейронов (№=30). Выходной слой нейронной сети состоит из 
нейронов, число которых равно 9 (К=9). Введем в рассмотрение вектор У. каждый элемент кото- 
рого содержит вырабатываемый А-м нейроном выходного слоя сигнал 5», соответствующий номе- 
ру распознанного образа. Выходной сигнал А-го нейрона определяется по следующей формуле 


[4]: 
К № 
| ых т 
Е. уз У. >. и, х, ||, 


7=0 1=0 
где /.) —- активационная функция нейрона; 7 — номер нейрона во входном слое; /— номер нейрона 
в скрытом слое; А — номер нейрона в выходном слое; К -— число нейронов в выходном слое; 
№ — число нейронов в скрытом слое; х, — входные сигналы ИНС; »,^”. и,” — весовые коэф- 
фициенты скрытого и выходного слоя соответственно; индекс 0 соответствует сигналу и ве- 
сам смещения (поляризации). 

Исследование надежности ИНС сталкивается с вычислительными трудностями [14]. При 
этом одной из ключевых трудностей является выявление состояний отказа нейросети. Они зачас- 
тую зависят от решаемой задачи и в большинстве случаев могут быть определены лишь экспери- 
ментально посредством введения дефекта и оценкой его проявления на выходе ИНС. В связи с 
этим экспериментальный подход при исследовании влияния дефектов на работоспособность ИНС 
выглядит наиболее предпочтительным. 

Основная задача, решаемая рассматриваемой ИНС, — распознавание образов. Формально 
образ распознается по максимальному значению сигнала на выходах нейронов выходного слоя 
ИНС. При проявлении дефектов нейронов уровень сигнала распознанного образа будет снижать- 
ся, что можно рассматривать случаем частичной потери работоспособности нейронной сети. Для 
оценки качества распознавания образа, связанного с частичной потерей работоспособности, вве- 
дем количественный критерий. 

Таким критерием может служить параметр с — разность между двумя максимальными сиг- 
налами на выходах нейронной сети. На рис.2 иллюстрируется способ определения параметра с. 

Количественное определение параметра с производится по формуле 


с = Мах, (5)- Мах. (5), 
где Мах, (5), Мах, (5) — соответственно первый и второй максимумы вектора выходных сигна- 
лов 5 нейронной сети. 
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Рис.2. Оценка параметра с при решении задачи распознавания нейронной сетью 
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К частичной потере работоспособности может приводить и введенный класс дефектов, 
соответствующих определенному значению сигнала на выходе нейрона. В работе проведены экс- 
перименты по оценке степени влияния на работоспособность этого класса дефектов. Было прове- 
дено 52 опыта, в каждом из которых на вход ИНС предъявлялось 72 образа из обучающей выбор- 
ки при моделировании случайного распределения дефектов среди нейроэлементов скрытого слоя 
в различном процентном соотношении. При этом моделировались константные неисправности с 
выходными значениями нейронов, равными 0; 0,25; 0,5; 0,75; 1. 

В результате проведенных экспериментальных исследований получена зависимость каче- 
ства распознавания образов от типа и количества задаваемых дефектов, которая обобщенно 


представлена в таблице. 


Зависимость качества распознавания ИНС от типа и количества 
задаваемых дефектов 


Зависимость о от % количества отказавших нейронов 


По данным эксперимента, приведенным в таблице, построим зависимость качества распо- 
знавания от типа дефектов и их количественного соотношения (рис.З3). 
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Рис.3. Зависимость качества распознавания ИНС от типа дефектов и их количества 


По результатам эксперимента можно сделать следующие выводы: 
- дефекты нейронов, вызывающие появление на их выходах сигнала любого промежуточ- 
ного константного значения в интервале (0,1), в меньшей степени оказывают влияние на работо- 
способность в сравнении с дефектами, приводящими к появлению на выходах нейронов конечных 


значений интервала; 
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- введенный класс дефектов нейронов, вызывающих появление на их выходах определен- 

ного уровня сигнала в интервале (0,1), можно использовать при исследовании задач деградации 
нейроэлементов ИНС. 
Заключение. В результате проведенного в работе анализа моделей дефектов ИНС было выяв- 
лено, что дефектами, оказывающими наибольшее влияние на отдельные нейроны и выходной 
результат ИНС в процессе её функционирования, являются дефекты элементов, сводящиеся к 
искажению сигналов на входах и выходах нейронов. При этом в нейронных сетях, помимо рас- 
сматриваемых ранее неисправностей типа соп${=0, соп${=1 на выходе нейрона, возможны и такие 
неисправности, которые характеризуются постоянной величиной в интервале (0,1) на выходе. 
Данный класс неисправностей можно отнести к разряду параметрических, постепенной деграда- 
ции нейроэлементов, что делает целесообразным его рассмотрение при исследовании надежно- 
стных характеристик ИНС. Для оценки модели введенного класса дефектов показано их влияние 
на работоспособность ИНС. Установлено, что в сравнении с константными неисправностями типа 
соп${=0, соп$=1, неисправности конкретного уровня сигнала на выходе нейрона в интервале 
(0,1) оказывают меньшее влияние на работоспособность ИНС. Однако, как и любой дефект, 
влияющий на работоспособность ИНС, он требует своего рассмотрения и разработки методов вы- 
явления. 
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АВКТТЕТСТАЕ МЕЧКАЕ МЕТМОВК РАЦЧЕТ МООЕ $ТООУ 


\.А. РАТКНТ, О.\У. МАВЗНАКОТХ, \.У. САЦИЗНКА 
(Боп Зае Тесптса! Упмег$Ку) 


Раий тодеб о! те агитаа! пеига! пейиогк вагдигаге ппретепавоп$ аге сопюегед. Тре деуеюртепЕ о! те 
пеигоеетепеЕ гаи! с/а55ез гоидй те тгодисйоп о! {пе ад юпа! пеигоп Гаий тоде! са$5 саизтд сепат 1еуе! 
5апаб арреагапсе оп Те! оириЕ т те пегиа! (0, 1) 15 опегед. ТРе ехрептепЕ/ гезеагср оЁ {те тгодисед гаи! 
са55 ппрасЁ оп те айтая! пеига! пейио!гК орега у 25 допе. 

Кеуигога$: агитсла! пеига! пениогк, пагаигаге ппр/етепавоп, гаи! тодеб, орегарйпу. 
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